Cuộc sống của Podgorny sau khi từ chức không được ghi chép rõ ràng. Lần cuối cùng đề cập đến ông trên bất kỳ phương tiện truyền thông lớn nào của Liên Xô là cuộc gặp của ông với Urho Kekkonen, Tổng thống Phần Lan. Không có bất kỳ lời giải thích nào được đưa ra, cũng như một lời tố cáo về ông, bởi chính quyền Xô Viết. Podgorny vẫn giữ được ghê đại biểu của mình trong Xô Viết Tối cao Liên Xô sau khi bị miễn nhiệm. Ông được nhìn thấy trong buổi tiệc kỷ niệm 61 năm Cách mạng Tháng Mười tại Cung điện lớn Điện Kremlin vào tháng 11 năm 1978 bởi Tokichiro Uomoto, Đại sứ Nhật Bản tại Liên Xô. Podgorny đã nói chuyện với Brezhnev, Kosygin và sau đó là Andrei Gromyko, tất cả đều trông bối rối trước sự hiện diện của Podgorny, theo Uomoto. Ngay sau vụ này, Podgorny mất ghế trong Xô Viết Tối cao Liên Xô. Trong Phòng trưng bày Tretyakov, Podgorny đã bị Dmitriy Nalbandyan xóa khỏi bức tranh năm 1977 về các nhà lãnh đạo Liên Xô tại Quảng trường Đỏ, trong đó Podgorny đứng giữa Brezhnev và Kosygin. Podgorny qua đời vì bệnh ung thư ở Kyiv vào ngày 12 tháng 1 năm 1983, và được chôn cất ở Moscow tại nghĩa trang Novodevichy.